下一代视觉模型会摒弃patch吗？Meta AI最近发表的一篇论文就质疑了视觉模型中局部关系的必要性。他们提出了PiT架构，让Transformer直接学习单个像素而不是16×16的patch，结果在多个下游任务中取得了全面超越ViT模型的性能。
Meta搞了个很牛的LLM Compiler，帮助程序员更高效地写代码。
Meta AI的NLLB-200登上Nature，「不让任何一门语言掉队」，能翻译200种语言的大模型获得Nature社论的盛赞——复兴了濒临灭绝的语言，但是Nature研究人员也郑重提醒Meta，必须将使用这些语言的社区也纳入进来，才会真正减缓语言的消亡。
深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察，也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中，他盘点分析了 4 月份发布的四个主要新模型：Mixtral、Meta AI 的 Llama 3、微软的 Phi-3 和苹果的 OpenELM。
Llama 3开源后，聊天机器人Meta AI也宣布使用新模型作为基座，在Meta旗下的各种软件（Meta.ai、Instagram、Facebook、WhatsApp）中都可以进行免费体验。
“预测下一个token”被认为是大模型的基本范式，一次预测多个tokens又会怎样？
抛弃传统方法，只采用Transformer来解码真实场景！
LLM界的「真·Open AI」，又来整顿AI圈了！
上周扎克伯格把Meta AI 聊天机器人向公众开放了
Meta 正在不遗余力地想要在生成式 AI 领域赶上竞争对手，目标是投入数十亿美元用于 AI 研究。这些巨资一部分用于招募 AI 研究员。但更大的一部分用于开发硬件，特别是用于运行和训练 Meta AI 模型的芯片
